[セッションレポート]【AIM241-S】Build, customize, and deploy generative AI with NVIDIA on AWS

こんにちは、yagiです！
12/2 本日より開催の AWS re:Invent 2024 ラスベガスにて現地参加しております！

まずは最初のセッションとして、Build, customize, and deploy generative AI with NVIDIA on AWSに出席しましたのでレポートしたいと思います！！

Overview

Learn how to streamline and scale your generative AI workflows with NVIDIA AI deployed across your AWS Cloud. In this session, learn how to easily deploy LLMs with NVIDIA NIM microservices integrated seamlessly with Amazon SageMaker, Amazon EKS, and through the AWS Marketplace. Explore how NVIDIA NeMo—covering tasks like data curation, customization, retrieval, and implementing guardrails—helps you build and refine AI models tailored to your specific needs. Discover insights from a customer who showcases how using NVIDIA microservices on AWS accelerates AI innovation from development to production deployment. This presentation is brought to you by NVIDIA, an AWS Partner.

AWS クラウド全体に展開された NVIDIA AI を使用して、生成 AI ワークフローを合理化および拡張する方法を学びます。このセッションでは、Amazon SageMaker、Amazon EKS、および AWS Marketplace とシームレスに統合された NVIDIA NIM マイクロサービスを使用して、LLM を簡単に展開する方法を学びます。データのキュレーション、カスタマイズ、取得、ガードレールの実装などのタスクをカバーする NVIDIA NeMo が、特定のニーズに合わせた AI モデルの構築と改良にどのように役立つかを探ります。AWS で NVIDIA マイクロサービスを使用することで、開発から本番環境への展開まで AI イノベーションが加速されることを示す顧客からの洞察を発見してください。このプレゼンテーションは、AWS パートナーである NVIDIA によって提供されています。

Agenda

• Generative AI Market Overview

• AWS and NVIDIA Partnership

• NVIDIA AI Enterprise, NeMo and NIM:
  Build, Custmize, and Deploy Generative AI

• Demo

Generative AI Market Overview

NVIDIAは今日のAI業界のリーダーであり、開発およびデプロイのためのマイクロサービス、フレームワーク、プラットフォームをデベロッパー向けに提供しています。

AWS and NVIDIA Partnership

AWSとNVIDIAのパートナーシップは以下の通りです。

以下のNVIDIAの過去のニュース記事にもあるように、AWSとNVIDIAは13年以上にわたってコラボレーションがあり、AWSの様々な幅広いサービスについて、 NVIDIA GPU ソリューションが利用されています。

AWS and NVIDIA Announce Strategic Collaboration

“AWS and NVIDIA have collaborated for more than 13 years, beginning with the world’s first GPU cloud instance. Today, we offer the widest range of NVIDIA GPU solutions for workloads including graphics, gaming, high performance computing, machine learning, and now, generative AI,” said Adam Selipsky, CEO at AWS. “We continue to innovate with NVIDIA to make AWS the best place to run GPUs, combining next-gen NVIDIA Grace Hopper Superchips with AWS’s EFA powerful networking, EC2 UltraClusters’ hyper-scale clustering, and Nitro’s advanced virtualization capabilities.”

NVIDIA AI Enterprise, NeMo and NIM: Build, Custmize, and Deploy Generative AI

NVIDIAのNIM - NVIDIA Inference Microservices はGenAI向けのランタイムを高速化します。
デプロイしやすく、レイテンシやスループットは向上され,モダリティ間で一貫した APIが提供されます。

現在利用可能となっているNIMについて

NVIDIAのNeMo - 継続して成長し続けるGenAIのフレームワーク

NVIDIAのNIMは現在AWS Marketplaceから利用可能となっています。

Demo

電話でピザの注文を受け付ける自動応答システムでのデモを公開していました。

応答速度はかなり良いもので、精度も良く、カスタマイズのトッピングなども数回の確認を実施して最後、無事注文完了まで終えていました。

感想

NVIDIAのスポンサーセッションである、Build, customize, and deploy generative AI with NVIDIA on AWSについてレポートしました！

最後のデモでも応答速度の速さや精度の良さに驚きました。なお、スピーカーの文字起こしも同時に実施しており、その速度も速かったです。